DeclineCraft: A RAG Abstention Benchmark for Jointly Measuring Combined Retrieval and Parametric Knowledge
DeclineCraft：联合衡量检索与参数知识的 RAG 弃答基准
🧭 RAG 弃答能力基准与行为分析
Purdue University
提出 DeclineCraft 基准，度量模型在检索与参数知识均不足时正确弃答的能力，揭示迭代 RAG 等增强策略反而降低弃答率。
📌 工作参考价值（4 点）
- 在电商客服/商品咨询等 RAG 场景中，不要盲目堆叠迭代检索、query rewriting、reranking 等“增强”组件：它们可能让模型对无法回答的问题过度自信，降低正确弃答率。对高频未知问题（如新商品属性、未收录政策），应显式加入弃答判定或置信度阈值。
- 单轮检索已能提升正确弃答率（38/40 配置），说明即使检索不到确切答案，提供相关但不完整的上下文也能帮助模型识别知识缺口，而非直接依赖参数记忆编造。在知识截止后新商品/新政策问答中，可先检索同类商品/旧政策作为参照。
- 思考模式（thinking）会显著降低弃答率，但常从“承认不确定”转为“否定前提”，这对安全敏感场景是隐患。实际部署时不宜只用 CoT 自我评估，应设置独立的 abstention 分类器或规则。
- 模型规模与弃答率无显著关联，只与作答准确率正相关。因此不能指望换更大模型解决拒答问题，需针对弃答行为做专门训练或 prompt 设计。